Manticore Search — это высокопроизводительная многосхрановая база данных, специально созданная для поиска и аналитики, предлагающая молниеносный полнотекстовый поиск, индексирование в реальном времени и расширенные функции, такие как векторный поиск и колонковое хранение для эффективного анализа данных. Разработанная для работы как с малыми, так и с большими наборами данных, она обеспечивает бесшовную масштабируемость и мощные аналитические возможности для современных приложений.

Как база данных с открытым исходным кодом (доступна на GitHub), Manticore Search была создана в 2017 году как продолжение движка Sphinx Search. Наша команда разработчиков взяла все лучшие функции Sphinx и значительно улучшила его функциональность, исправив сотни ошибок по пути (подробности в нашем Changelog). Manticore Search — это современная, быстрая и легковесная база данных с исключительными возможностями полнотекстового поиска, построенная на почти полном переписывании своего предшественника.

• Автозаполнение запросов
• Нечеткий поиск
• Более 20 операторов полнотекстового поиска и более 20 факторов ранжирования
• Пользовательское ранжирование
• Стемминг
• Лемматизация
• Стоп-слова
• Синонимы
• Формы слов
• Продвинутая токенизация на уровне символов и слов
• Корректная сегментация китайского языка
• Подсветка текста

Manticore Search поддерживает возможность добавления эмбеддингов, сгенерированных вашими моделями машинного обучения, к каждому документу, а затем выполнения поиска ближайших соседей по ним. Это позволяет создавать функции, такие как поиск по сходству, рекомендации, семантический поиск и ранжирование релевантности на основе алгоритмов обработки естественного языка, а также поиск по изображениям, видео и звуку.

Manticore Search поддерживает JOIN запросы через SQL и JSON, позволяя объединять данные из нескольких таблиц.

Manticore Search использует умную параллелизацию запросов для снижения времени отклика и полного использования всех ядер процессора при необходимости.

Оптимизатор запросов на основе стоимости использует статистические данные об индексированных данных для оценки относительных затрат различных планов выполнения для данного запроса. Это позволяет оптимизатору определить наиболее эффективный план для получения нужных результатов, учитывая такие факторы, как размер индексированных данных, сложность запроса и доступные ресурсы.

Manticore предлагает как построчное, так и колонковое хранение для работы с наборами данных различных размеров. Традиционный и по умолчанию используемый построчный вариант хранения доступен для наборов данных любого размера — малых, средних и больших, в то время как колонковое хранение предоставляется через Manticore Columnar Library для еще больших наборов данных. Ключевое отличие этих вариантов хранения в том, что построчное хранение требует, чтобы все атрибуты (за исключением полнотекстовых полей) хранились в оперативной памяти для оптимальной производительности, тогда как колонковое хранение этого не требует, что обеспечивает меньшее потребление ОЗУ, но с потенциально немного более медленной производительностью (что демонстрируют статистические данные на https://db-benchmarks.com/).

Manticore Columnar Library использует индекс Piecewise Geometric Model, который использует обученную взаимосвязь между индексируемыми ключами и их расположением в памяти. Компактность этого отображения, в сочетании с особенностями рекурсивного алгоритма построения, делает PGM-индекс структурой данных, которая превосходит традиционные индексы по объему памяти на порядки, при этом обеспечивая лучшее время выполнения запросов и обновлений. Вторичные индексы включены по умолчанию для всех числовых и строковых полей и могут быть включены для json-атрибутов.

Родной синтаксис Manticore — SQL, и он поддерживает SQL через HTTP и протокол MySQL, что позволяет подключаться через популярные mysql-клиенты на любом языке программирования.

Для более программного подхода к управлению данными и схемами Manticore предоставляет протокол HTTP JSON, аналогичный Elasticsearch.

Вы можете выполнять совместимые с Elasticsearch insert и replace JSON-запросы, что позволяет использовать Manticore с такими инструментами, как Logstash (версия < 7.13), Filebeat и другими инструментами из семейства Beats.

Легко создавать, обновлять и удалять таблицы онлайн или через конфигурационный файл.

Демон Manticore Search разработан на C++, обеспечивая быстрое время запуска и эффективное использование памяти. Оптимизации на низком уровне дополнительно повышают производительность. Другой важный компонент, называемый Manticore Buddy, написан на PHP и используется для функциональности высокого уровня, которая не требует молниеносного времени отклика или чрезвычайно высокой вычислительной мощности. Хотя внесение изменений в код на C++ может быть сложной задачей, добавление новой SQL/JSON команды с использованием Manticore Buddy должно быть простым процессом.

Новые или обновленные документы можно сразу же читать.

Мы предлагаем бесплатные интерактивные курсы, чтобы обучение было простым.

Хотя Manticore не полностью соответствует стандарту ACID, он поддерживает изолированные транзакции для атомарных изменений и бинарное логирование для безопасной записи.

Данные могут распределяться между серверами и дата-центрами, при этом любой узел Manticore Search может выступать как балансировщиком нагрузки, так и узлом данных. Manticore реализует практически синхронную мульти-мастер репликацию с использованием библиотеки Galera, обеспечивая согласованность данных на всех узлах, предотвращая потерю данных и обеспечивая исключительную производительность репликации.

Manticore оснащен внешним инструментом manticore-backup и SQL-командой BACKUP для упрощения процесса резервного копирования и восстановления данных. В качестве альтернативы можно использовать mysqldump для создания логических резервных копий.

Инструмент indexer и обширный синтаксис конфигурации Manticore упрощают синхронизацию данных из источников, таких как MySQL, PostgreSQL, базы данных, совместимые с ODBC, XML и CSV.

Вы можете интегрировать Manticore Search с сервером MySQL/MariaDB, используя FEDERATED engine или через ProxySQL.

Вы можете использовать Apache Superset и Grafana для визуализации данных, хранящихся в Manticore. Для интерактивной разработки запросов Manticore можно использовать различные инструменты MySQL, такие как HeidiSQL и DBForge.

Также можно использовать Manticore Search с Kibana.

Manticore предлагает специальный тип таблиц — "percolate", который позволяет искать запросы вместо данных, что делает его эффективным инструментом для фильтрации полнотекстовых потоков данных. Просто сохраните ваши запросы в таблице, обрабатывайте поток данных, отправляя каждую партию документов в Manticore Search, и получайте только результаты, соответствующие вашим сохраненным запросам.

Manticore Search универсален и может применяться в различных сценариях, включая:

• Полнотекстовый поиск:

  • Идеально подходит для платформ электронной коммерции, обеспечивая быстрый и точный поиск товаров с такими функциями, как автозаполнение и нечеткий поиск.
  • Отлично подходит для сайтов с большим количеством контента, позволяя пользователям быстро находить релевантные статьи или документы.

• Аналитика данных:

  • Загружайте данные в Manticore Search с помощью Beats/Logstash, Vector.dev, Fluentbit.
  • Эффективно анализируйте большие наборы данных с помощью колоннарного хранения и OLAP-возможностей Manticore.
  • Выполняйте сложные запросы по терабайтам данных с минимальной задержкой.
  • Визуализируйте данные с помощью Kibana, Grafana или Apache Superset.

• Фасетный поиск:

  • Позвольте пользователям фильтровать результаты поиска по категориям, таким как цена, бренд или дата, для более точного поиска.

• Геопространственный поиск:

  • Реализуйте поиск по местоположению, например, поиск ближайших ресторанов или магазинов, используя геопространственные возможности Manticore.

• Коррекция орфографии:

  • Автоматически исправляйте опечатки пользователей в поисковых запросах для повышения точности поиска и удобства использования.

• Автозаполнение:

  • Предлагайте подсказки в реальном времени по мере ввода пользователями, улучшая удобство и скорость поиска.

• Фильтрация потоков данных:

  • Используйте percolate таблицы для фильтрации и обработки потоков данных в реальном времени, таких как ленты социальных сетей или данные журналов, эффективно.

• Архитектура: arm64 или x86_64
• ОС: на базе Debian (например, Debian, Ubuntu, Mint), на базе RHEL (например, RHEL, CentOS, Alma, Oracle Linux, Amazon Linux), Windows или MacOS.
• Manticore Columnar Library, которая обеспечивает колоннарное хранение и вторичные индексы, требует процессор с SSE >= 4.2.
• Нет специфических требований к дисковому пространству или оперативной памяти. Пустой экземпляр Manticore Search использует около 40 МБ RSS RAM.

Руководство составлено так, чтобы отражать наиболее вероятный способ использования Manticore:

• начиная с базовой информации о нем и о том, как установить и подключиться
• основные вещи, такие как добавление документов и выполнение поисков
• советы по оптимизации производительности, трюки и расширение Manticore с помощью плагинов и пользовательских функций

Ключевые разделы руководства отмечены 1️⃣, 2️⃣, 3️⃣ и т.д. в меню для вашего удобства, так как соответствующий функционал используется чаще всего. Если вы новичок в Manticore, мы настоятельно рекомендуем не пропускать их.

Если вы хотите быстро понять, как работает Manticore в целом, ⚡ Руководство по быстрому старту — хорошее место для начала.

Каждый пример запроса имеет маленький значок 📋 в правом верхнем углу:

Вы можете использовать его, чтобы скопировать примеры в буфер обмена. Если запрос является HTTP-запросом, он будет скопирован как команда CURL. Вы можете настроить хост/порт, нажав ⚙️.

Мы любим поиск и сделали все возможное, чтобы сделать поиск в этом руководстве максимально удобным. Конечно, он работает на базе Manticore Search. Помимо использования строки поиска, которая требует предварительного открытия руководства, есть очень простой способ найти что-то, просто открыв mnt.cr/your-search-keyword :

Есть несколько вещей, которые нужно понять о Manticore Search, чтобы следовать лучшим практикам его использования.

• Таблица реального времени позволяет добавлять, обновлять и удалять документы с немедленной доступностью изменений.
• Обычная таблица — это в основном неизменяемая структура данных и базовый элемент, используемый таблицами реального времени. Обычная таблица хранит набор документов, их общий словарь и настройки индексации. Одна таблица реального времени может состоять из нескольких обычных таблиц (чанков), но помимо этого Manticore предоставляет прямой доступ к созданию обычных таблиц с помощью инструмента indexer. Это имеет смысл, когда ваши данные в основном неизменяемы, и поэтому вам не нужна таблица реального времени.

Manticore Search работает в двух режимах:

• Режим реального времени (RT режим). Это режим по умолчанию, который позволяет управлять схемой данных императивно:
  • позволяет управлять схемой данных онлайн с помощью SQL-команд CREATE/ALTER/DROP TABLE и их эквивалентов в клиентах без SQL
  • в конфигурационном файле нужно определить только настройки, связанные с сервером, включая data_dir
• Обычный режим позволяет определять схемы данных в конфигурационном файле, то есть обеспечивает декларативное управление схемой. Это имеет смысл в трех случаях:
  • когда вы работаете только с обычными таблицами
  • или когда ваша схема данных очень стабильна и вам не нужна репликация (которая доступна только в RT режиме)
  • когда вам нужно сделать схему данных переносимой (например, для более простого развертывания на новом сервере)

Вы не можете комбинировать два режима и должны выбрать, какой из них использовать, указав data_dir в вашем конфигурационном файле (что является поведением по умолчанию). Если вы не уверены, наша рекомендация — использовать RT режим, так как даже если вам нужна обычная таблица, вы можете создать ее с отдельной конфигурацией обычной таблицы и импортировать в ваш основной экземпляр Manticore.

Таблицы реального времени могут использоваться как в RT, так и в обычном режимах. В RT режиме таблица реального времени определяется командой CREATE TABLE, а в обычном режиме — в конфигурационном файле. Обычные (офлайн) таблицы поддерживаются только в обычном режиме. Обычные таблицы нельзя создавать в RT режиме, но существующие обычные таблицы, созданные в обычном режиме, можно конвертировать в таблицы реального времени и импортировать в RT режиме.

Manticore предоставляет несколько способов и интерфейсов для управления схемами и данными, но основными являются:

• SQL. Это родной язык Manticore, который обеспечивает весь функционал Manticore. Лучшая практика — использовать SQL для:
  • управления схемами и выполнения других DBA-операций, так как это самый простой способ
  • проектирования запросов, так как SQL гораздо ближе к естественному языку, чем JSON DSL, что важно при создании чего-то нового. Вы можете использовать Manticore SQL через любой MySQL клиент или /sql.
• JSON. Большинство функций также доступны через JSON DSL. Это особенно полезно при интеграции Manticore с вашим приложением, так как с JSON это можно делать более программно, чем с SQL. Лучшая практика — сначала изучить, как сделать что-то через SQL, а затем использовать JSON для интеграции в ваше приложение.